Triệu Bá Tông là cháu bảy đời của Tống Thái Tổ Triệu Khuông Dẫn. Thái Tổ có bốn người con trai, trong đó hoàng tử thứ tư là Tần Khang Huệ vương Triệu Đức Phương. Nguyên Thái Tổ tuân theo di huấn của thái hậu nên nhường ngôi cho người em là Triệu Quang Nghĩa, tức Tống Thái Tông. Tuy nhiên sau khi lên ngôi, Thái Tông đã tìm cách loại trừ các con của Thái Tổ để về sau sẽ truyền ngôi cho con của mình, và Triệu Đức Phương cũng đã bị giết vào năm 981 ở tuổi 23.

Triệu Đức Phương tuy chết trẻ nhưng cũng có một người con là Ạnh Quốc công Triệu Duy Hiến (979 – 1016), Duy Hiến sinh Tân Hưng hầu Triệu Tòng Úc, Tòng Úc sinh Hoa Âm hầu Triệu Thế Tương, Thế Tương sinh Khánh quốc công Triệu Lệnh Thoại, Lệnh Thoại sinh ra Triệu Tử Xưng, về sau được truy tặng là Tú vương. Tử Xưng thành hôn với bà Trương thị[5]. Trương thị hạ sinh một người con trai là Triệu Bá Tông vào ngày Mậu Dần tháng 10 ÂL năm Kiến Viêm nguyên niên thời Tống Cao Tông, tức Dương lịch ngày 27 tháng 11 năm 1127[6], tại quan xá ấp Thanh Sam, Tú châu[5]. Sử cũ không cho biết thêm thông tin gì về những năm đầu đời của Triệu Bá Tông và những người anh em nào khác trong gia đình của ông.